Sinh ra với tên Spangler Arlington Brugh ở Filley, Nebraska, ông là con trai của Ruth Adaline (nhũ danh Stanhope) và Spangler Andrew Brugh, một nông dân chuyển sang làm bác sĩ.[1][2] Hồi thiếu niên, ông là ngôi sao điền kinh và chơi cello trong giàn nhạc của trường. Sau khi tốt nghiệp, ông tới Doane College để học nhạc.[3][4]

Tại Doane, ông học cello với Giáo sư E. Gray, thần tượng của ông. Sau khi giáo sư Gray tuyên bố ông đã tìm được một công việc mới tại Pomona College ở Los Angeles, Brugh chuyển tới California và nhập học trường Pomona.[5] Ông tham gia nhóm kịch ngoại kháo và sau đó được phát hiện trong cuộc tuyển chọn tài năng của MGM năm 1932.[6]